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(54) Title: INTERACTIVE SURVEILLANCE SYSTEM 

(54) Bezdchnung: INTERAKTTVES OBERWACHUNGSSYSTEM 

(57) Abstract 

A process is disclosed for observing or monitoring an area 
in space. Images of the area (1) to be observed/monitored are 
taken by means of at least one camera (2), the converted image 
information is sent to s control computer (3), the control computer 
(3) checks the images for changes in the observed area (1), the main 
direction and/or speed of optically perceptible changes (movements) 
in the observed area are analysed by analysis of the optical flow, 
the analysis result is converted into control instructions sent to a 
controller (4) that mechanically moves the camera, and if required 
the position and/or size of the image section mat may be taken by 
the camera is modified. Also disclosed is an interactive surveillance 
system with a control computet (3) connected to or i nt egr at ed into a 
camera (2) or into one among several cameras. The control computer 

(3) receives and processes the data recorded by the cameras) and 
sends control signals to a zoom lens (5). A mechanical controller 

(4) reacts to impulses from the control computer (3) and modifies 
the recording section of the area (1) to be observed or die size of the 
image section (5). A device reacts to signals from the control computer 




(3) and opens a normally closed passage. 



(57) Zusammenfhssung 



Die Erfindung be trim ein Verfahren ami Beobachten oder Obeiwachen eines rfiumlichen Bereiches, umfassend das Aufnehmen von 
Bildem aus dem zu beobachtendenmberwachenden Bereich (1) mit Hilfe mindestens cincr Kamera (2), das Senden der urngewandelten 
Bildinfonnatioo an einen Steuerrechner (3), das Auswerten derBilder im Steuenrchner (3) in bezug mrf Vertnderungen im zu Qberwachenden 
Bereich (1), das Analysiercn der Hanptrichtung und/oder der Geschwindigkeit von optisch wataiefambara Vertodcnmon (Bcwemueen) 
im zu Obeiwachenden Bereich mit Hiife der Analyse des optiscben Frosses, das Umsetzen des Aiialyseergebnisses in Steacrbefehle 
mm mechanischen Bewegen der Kamera an erne Steuereinrichtung (4), und ggf . das Verfindern des von der Kamera aufnehmbaren 
BUdamschnittes is bezug auf Lage und/oder Gr06e; des weiteren betriffi die Erfindung ein imeraktives Cberwachnngssystem welches 
einen mit einer Kamera (2) oder cincr von mehreren Kameras (2) verbundenen Oder darin integrierten Steuerrechner (3), der die von 
dei/den Kamera(s) aufgenommenen Daien autnimmt und verarbeitet und Steuenignale an ein ZooraObjektiv (5) senden kann femer eine 
roechanische S teueremrichtung (4), die auf Impulse des S teuerrechners (3) hin den Aufnahmeausschnitt aus dem zu Qberwactaenden Bereich 
(1) oder die Grtfie des Bfldausschnittes (5) verSndern kann, sowie eine Einrichtung zum dftnen einer Oblicherweise venchlossenen Passage 
aufweist, die auf Signale des S teuerrechners (3) reagierL 
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Interaktives Uberwachungs system 

Die vorliegende Erfindung betrifft ein interaktives 
Beobachtungs- oder Uberwachungssystem sowie ein Verfahren zum 
Uberwachen bzw. Beobachten einee raumlichen Bereiches, 
insbesondere zur Personenuberwachung oder Identif izierung von 
Personen . 

Der Stand der Technik kennt Kamerasysteme fur 
Uberwachungsauf gaben . Diese Kamerasysteme beschranken sich 
jedoch auf reine Visualisierungs- und Ubertragungsauf gaben, d.h. 
die Bildinformationen aus dem zu uberwachenden Bereich werden 
zur direkten, gleichzeitigen Beobachtung an Monitore in einer 
Zentrale ubermittelt , oder sie werden auf Videoband 
abgespe i chert , urn sp&ter abgerufen werden zu k6nnen, bzw. sie 
werden nach einiger Zeit automatisch geloscht - 

Aus der EP 90 104 469.3 ist ein Verfahren zur Detektion von 
Intrudern bekannt, in welchem mit einer Videokamera und einer 
Video-Bild-Verarbeitungseinheit ein vorgegebener 
Uberwachungsbereich iiberwacht wird. Dabei werden die zu 
detektierehden Objekte durch zwei zeitlich versetzte Videobilder 
mit Hilfe eines Dif f erenzbildverf ahrens erkannt. 

Prinzipiell werden im Dif f erenzbildverf ahren 
aufeinanderf olgende Bilder voneinander abgezogen. Tritt eine 
hinreichend grofie Differenz zwischen zwei Bildern auf, so wird 
diese Differenz als "Bewegung" identif iziert bzw. analysiert. 

Der Einsatz solcher Verfahren hat jedoch Nachteile, So wird die 
Gesamtbewegungsrichtung im Falle komplexer Strukturen und einer 
inhomogenen Bewegungen (Beispiel: ein Arm schlenkert gegen die 
Lauf richtung) Mufig inkorrekt ermittelt, da die 
Bewegungsrichtung amhand des ermittelten Schwerpunktes des zu 
beobachtenden Objekts analysiert wird. 
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Aufgabe der vorliegenden Erfindung ist es, ein 
Uberwachungssystem bereitzustellen, in welchem die Kamera in 
Abhangigkeit vom Bildinhalt automatisch gesteuert und 
nachgefuhrt werden kann, wobei die Gesamtbewegungsrichtung mit 
hoher Genauigkeit ermittelt wird. 

Gel6st wird die vorgenannte Aufgabe mit Hilfe des Verfahrens 
gemafi Anspruch 1. 

Das interaktive Uberwachungssystem ist eine "intelligente 
Kamera" , die selbsttStig und schnell auf durch eine Analyse des 
optischen Flusses gewonnene Bildsignale reagieren kann. Es 
handelt sich dabei urn eine Echtzeit-Bildauswertung einer oder 
mehrerer Kameras, die der Bewegung in einem Uberwachungsbereich 
nachgefiihrt werden kann bzw. k6nnen und/oder uber die 
Veranderung des Bildausschnittes (Zoom) eine Vergr6fieirung 
interessierender Bereiche bewirkt und somit z.B. die Gesichter 
von Menschen herausvergrofiern kann. Das System eignet sich fur 
die Uberwachung von Gebauden (Eingangen, Tiefgaragen) und dgl. 
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Figur la-c zeigt die Auswertung von zu verschiedenen Zeiten (t 
und t+1) auf genommenen Bildern (Fig. la) und zwar mit Hilfe der 
Analyse des optischen Flusses (Fig. lb) bzw. mit Hilfe eines 
Dif ferenzbildverfahrens (Fig. lc) . In Figur lb erkennt man ein 
optisches Flufivektorfeld. Das Kreuz zeigt jeweils den Ursprung 
der Bewegungsrichtung, Lange und Richtung des jeweiligen 
Striches weisen Lange und Richtung des Bewegungsvektors . 

Durch z.B. Vekt or summation aller Einzelrichtungen kann nun auf 
eine Gesamtbewegungerichtung von Objekten im Bild geschlossen 
und somit die Kamera nachgefuhrt werden. Mit einem reinen 
Dif ferenzbild ist dies, wie aus Figur lc erkennbar, nicht 
m&glich. 

Figur 2 zeigt ein System mit einer Autofocus- Kamera 2 mit einem 
Zoom-Ob jektiv 5, die auf einen Uberwachungsbereich 1 gerichtet 
ist. Die Kamera gibt die auf genommenen Bildsignale an einen 
Steuerrechner 3 weiter, der wiederum mit einer mechanischeh 
Steuereinrichtung 4 verbunden ist. Die Kamera kann in 
verschiedener Weise einer ggf . detektierten Bewegung nachgehen, 
beispielsweise indem sie die Bewegungsrichtung analysiert und 
dieser Richtung im zu uberwachenden Bereich folgt oder indem sie 
eine VergrSSerung eiries interessierenden Bildausschnittes durch 
Zoomen bewirkt. 

Die Kamera kann kontinuierlich Bilder vom zu tiberwachenden 
Bereich an den Steuerrechner senden. Selbstverst&ndlich sind 
auch intermittierende Aufnahmen oder ein diskontinuierliches 
Aufnehmen (nur zu interessierenden, vorherbestimmten oder nicht 
vorherbestimmten Zeitabschnitten) moglich. Im Anf angszustand ist 
dabei das an der Kamera angeschlossene Zoom-Ob jektiv auf den 
gr&£tm&glichen Blickwinkel eingestellt. 

Die Bilder werden vom Steuerrechner (3) kontinuierlich 
ausgewertet, wobei nach Bewegung im Bild gesucht wird. 
Tritt Bewegung im Bild auf, so wird mit Hilfe einer Analyse des 
optischen Flusses die Haupt richtung der Bewegung und deren 
Geschwindigkeit ermittelt. Durch die Vek tor summation aller 
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Einzelrichtungen wird dabei auf eine Gesamtbewegungsrichtung von 
ObjeJcten im. Bild geschlossen, worauf die Kamera geeignet 
nachgefuhrt werden kann, so daS das bewegte Objekt immer voll im 
Bild ist. 

Der Steuerrechner ermittelt aus dem Ort der Bewegung im Bild 
Steuerbef ehle, urn die Kamera auf eine geeignete Vergr6fierung der 
Bewegung nachzustellen. Dabei werden die Bewegungen bezilglich 
des "Blickwinkels" der Kamera, also ihrer Lage bzw. des 
Ausschnittes aus dem zu uberwachenden Bereich, durch eine 
mechanische Steuereinrichtung bewirkt, die ihre Impulse vom 
Steuerrechner erhalt. Die Impulse zum VerSndern des Zoom- 
Ausschnittes der Kamera werden vom Steuerrechner an die Kamera 
zuruckgeleitet . Durch die Kombination dieser beiden 
"intelligenten" MaSnahmen wird die Ursache der Bewegung (die 
Person, das Tier, das sich bewegt) optimal ins Bild gebracht und 
vergroSert, so daS z.B. die Bewegungen einer Person vollst&ndig 
von der Kamera aufgenommen werden, solange sie sich im zu 
uberwachenden Bereich aufh&lt. 

Parallel dazu kann mit einem Mustervergleichsverf ahren, wie es 
z.B. aus dem Stand der Technik bekannt ist, im Bild nach 
gesichtsfarbigen Objekten gesucht werden und speziell ein 
Gesicht einer Person im Oberwachungsbereich herausvergr&Sert 
werden. So kann ein derartiges Mustervergleichsverf ahren z.B. 
nach ellipsenfdrmigen Objekten bestimmter Ausrichtung, Gr6Se und 
Helligkeit suchen, die im Normalfall Gesichter darstellen. 

Vorzugsweise schaltet die Kamera in regelmaSigen AbstSnden auf 
den guns tigs ten Blickwinkel und den ihr groStmSglichen 
Ausschnitt zuruck, um evtl. weitere Bewegungen im 
Uberwachungsbereich zu detektieren. 

Die interaktive Kamera kann auch mit existierenden Gesichts- und 
Personenerkennungssystemen gekoppelt werden, um Aussagen uber 
die Identitat der im Uberwach\ingsbereich bef indlichen Person zu 
ermitteln. Hierzu wird z.B. ein Ausschnitt, der anhand der 
Bewegungsanalyse als zu einem bewegten Gesicht geh6rig erkannt 
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wurde, herausvergroEert und dieses Teilbild einem Muster- 
vergleich zugefuhrt, der in einer Datenbank mit abgespeicherten 
Gesichtsbildem nach dem Namen der entsprechenden Person sucht. 

In einer besonderen Ausgestaltung des erf indungsgemSfcen 
Verfahrens kann durch autoraatischen Mustervergleich des 
aufgenoramenen Bewegungsmusters mit abgespeicherten Mustern 
zwischen Personen und anderen bewegten Objekten (Blatter im 
Wind, Tieren uswj unterschieden werden, urn Fehlalarme zu 
vermeiden. 

SelbstverstSndlich kann das interaktive Uberwachungssystem nicht 
nur mit einer Kamera, wie oben beschrieben, ausgestattet sein. 
Bei der Verwendung mehrerer Kameras k6nnen 

Stereobildauswertungsverfahren zur Detektion und Erkennung von 
bewegten Objekten herangezogen werden. 

Das vorstehend beschriebene interaktive System zur Beobachtung 
bzw. Uberwachung von Bereichen wie Gebauden (EingSngen, 
Tiefgaragen) oder dgl. ftthrt durch eine Echtzeit-Bildauswertung 
die Kamera oder die Kameras der Bewegung nach und vergroSert den 
bewegten Gegenstand optimal heraus. Der bewegte Gegenstand, z.B. 
eine menschliche Person, kann automatisch 

klassifiziert/identifiziert werden, wobei sich Fehlalarme durch 
die Bewegung von Tieren, Blattern usw. vermeiden lassen. In der 
Kombination mit bekannten Bild- und Signalverarbeitungsverf ahren 
eignet sich das Verf ahren und das System der vorliegenden 
Erfindung zur namentlichen Identif ikation der im 
Uberwachungsbereich befindlichen Personen und dadurch auch als 
Eingangskontroll system fur Bereiche, die nur einer definierten 
Personengruppe zuganglich sein durfen (AnsprQche 8 und 12) . 
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Anspruche : 

1. Verfahren zum Beobachten oder Uberwachen eines raumlichen 
Bereiches , umf assend 

das Aufnehmen von Bildern aus dem zu 
beobachtenden/uberwachenden Bereich (l) mit Hilfe 
mindestens einer Kamera (2) , 

das Senden (2a) der umgewandelten Bildinf ormation (A/D) 
an einen Steuerrechner (3), 

das Auswerten der Bilder im Steuerrechner (3), urn eine 
erste VerSnderung im zu uberwachenden Bereich (1) zu 
erf assen, 

das vektorielle Ermitteln der Bewegungsrichtung der 
optisch wahrgenommenen ersten Veranderung (Bewegungen) 
im zu uberwachenden Bereich mit Hilfe des optischen 
Flusses, 

das Umsetzen des Ermittlungsergebnisses in 
Steuerbefehle an eine Steuereinrichtung (4) zum 
mechanischen Bewegen der Kamera, und ggf . 
das Ver&ndern (5) des von der Kamera erfaSten 
Bildausschnittes in Bezug auf GroSe. 

2. Verfahren nach Anspruch 1, worin beim Erkennen von Bewegung 
im zu tiberwachenden Bereich optische, akustische oder 
elektrische (Alarm- ) Signale abgegeben werden. 

3. Verfahren nach einem der obigen Anspriiche, worin der 
Bildausschnitt mindestens einer Kamera (2) beim Erkennen von 
Bewegung durch Verandern eines Zoom-Ob jektes (5) vergr6fiert 
wird. 

4. Verfahren nach einem der voranstehenden Anspriiche, wobei 
zusatzlich parallel mit einem Mustervergleichsverf ahren im 
raumlichen Bereich nach gesichtsf 6rmigen Objekten gesucht 
wird und bei Erkennen des sich bewegenden Ob jektes als 
Gesicht dieses mit Hilfe eines Zooms (5) der Kamera (2) 
vergrdSert und/oder seiner Bewegung mit der Kamera (2) 
nachgefiihrt wird. 
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5. Verfahren nach einetn der voranstehenden Anspruche, worin in 
vorbestimmten Abst&nden die ursprungliche Lage und/oder der 
ursprungliche Bildausschnitt der Kamera (2) 
wiederhergestellt werden, urn eine zweite oder dritte 
Ver&nderung im rfiumlichen Bereich (ebenfalls) zu erfassen. 

6. Verfahren nach einetn der obigen Anspruche, worin das Bilder- 
Aufnehmen kontinuierlich oder intermittierend ist. 

7. Verfahren nach einem der voranstehenden Ansprilche, wobei dem 
Steuerrechner (3) zusatzlich Informationen tiber Gesichter 
oder Personen aus einetn Personenidentif ikationsverfahren 
zug&nglich sind. 

8. Verfahren nach Anspruch. 7, worin die Bildinformationen der 
Kamera (2) rait gespeicherten Informationen zu definierten 
Personen verglichen wird und der Steuerrechner (3) mit einer 
Einrichtung verbunden ist, mit deren Hilfe beim Feststellen 
des Vorhandenseins von ausreichender Ubereinstimmung 
dahingehend, dafi Personenidentitat angenommen wird, eine 
ublicherweise verschlossene Passage ge6ff net werden kann. 

9. Verfahren nach einem der voranstehenden Ansprilche, wobei 
analysierte BewegungsablSufe mit den Signalen bereits 
gespeicherter BewegungsablSufe verglichen werden und die 
Abgabe von (Alarm-) Signalen nur dann erfolgt, wenn der 
Vergleich deutliche Abweichungen ergibt. 

10. Verfahren nach Anspruch 9, wobei der Bewegungsvergleich 
kontinuierlich oder intermittierend erfolgt. 

11. Verfahren nach einem der voranstehenden Ansprilche, worin die 
auszuwertenden Bilder Stereobilder sind, die von 
insbesondere zwei Kameras gleichzeitig aufgenommen werden, 
um der Haupt-Bewegungsrichtung (vl,v2) der ersten und der 
zweiten "VerSnderung" jeweils eine erste (vl , ,v2 l ) und eine 
zweite (yl n ,v2 n ) - senkrecht zueinander orientierte - 
Bewegeungskomponente zuzuweisen. 
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12. Verfahren nach einem der voranstehenden Anspruche, worin 
nach zyklischem Wiederherstellen des ursprunglichen 
(grdStmoglichen) Bilsausschnitts einer der zwei Kameras (2), 
die im Bildausschnitt zuruckgestellte Kamera eine 
"Ver&nderung" als solches ermittelt und die nicht 
zuruckgestellte Kamera der Bewegung der schon erfaSten 
"Veranderung" weiter nachgefiihrt wird. 

13. Verfahren nach einem der voranstehenden Anspriiche, worin die 
zyklische im Bildausschnitt zurflckgestellte Kamera nach 
vorbestimmter Zeit der Nicht -Erf assung einer weiteren 
"Veranderung" auf die von der anderen Kamera bereits erfafite 
(erste) "Veranderung" schnell zielgefCthrt wird, um mit 
beiden Kameras mehrere Bewegungskomponenten (vl,v2; vl , ,v2 t ; 
vl",v2") oder ein Stereobild zu erfassen. 

14. Interaktives Uberwachungssystem, umfassend 
mindestens eine Kamera (2) mit einem Zoom-Ob jektiv (5), 
einen mit einer Kamera oder einer der Kameras verbundenen 
oder darin integrierten Steuerrechner (3), der die von 
der /den Kamera (s) auf genommenen Daten aufnimmt und 
verarbeitet und Steuersignale an das Zoom-Objektiv sendet, 
eine raechanische Steuereinrichtxzng (4), die auf Impulse des 
Steuerrechners (3) hin den Aufnahmeausschnitt aus dem zu 
uberwachenden Bereich (1) oder die Grfifie des 
Bildausschnittes (5) verandern kann, sowie 

eine Einrichtung zura 6ffnen einer verschlossenen Passage, 
die auf Signale des Steuerrechners (3) reagiert. 

15. Uberwachungssystem nach AnBpruch 12, zusStzlich umfassend 
eine Einrichtung zum Erzeugen und Senden von akustischen, 
optischen und/oder elektrischen (Alarm-) Signalen. 

16. Uberwachungssystem nach Anspruch 14 oder 15, bei dem zwei 
Kameras (2) mit ihrem Ruheachse (100) etwa rechtwinklig zu 
einem Zentrum des rSumlichen Bereichs (1) angeordnet sind. 
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Figur 1b 




Figur 1c 
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Figur 2 
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